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Be s chr e ibung 

System und Verfahren zur Durchfuhrung und Visualisierung von 
Simulationen in einer erweiterten Realitat 

5 

Die Erfindung betrif ft ein System und ein Verfahren zur Dar- 
stellung von Inf ormationen/ insbesondere Augmented-Reality 
Inf ormationenr fiir mindestens einen Anwender. 

10 Eine derartiges System bzw. Verfahren kommt beispielsweise 

bei der Planung von Arbeit sprozessen und sonstigen Prozessen 
in einer industriellen Umgebung zum Einsatz. 

Augmented— Reality, kurz AR, ist eine neue Art der Mensch- 
15 Umgebungs-Interaktion mit groBem Potential zur Unterstiitzung 
von industriellen Arbeitsprozessen und sonstigen Prozessen 
vor und wahrend der ProzessablSuf e . Bei dieser Technologie 
wird das Sichtfeld des Betrachters mit rechnergenerierten 
virtuellen Objekten angereichert ,r so dass Produkt- und Pro— 
2 0 zessinf ormation intuitiv erfasst und genutzt werden konnen, 
Neben der sehr einfachen Interaktion - Mensch und Umgebung - 
erschliefit der Einsatz tragbarer Computer AR-Anwendungsf elder 
mit hohen Mobilitatsanf orderungen wie z. B, in Produktions- 
hallen, rM.umlich verteilten Anlagen oder groBvolumigen For- 
2 5 dereinrichtungen. Augmented-Reality wird bereits fiir Produk— 
tions- und Serviceanwendungen entwickelt . 

Der Erfindung liegt die Aufgabe zu Grunde, ein System und ein 
Verfahren anzugeben, das in einem Augmented-Reality System 

30 die Visualisierung von Simulationsergebnissen im Kontext zu 
realen Anordnungen ermoglicht, Mit Hilfe dieses Systems sol— 
len geplante Prozesse oder auch fiktive Situationen wie An— 
sammlung von Besuchern^ Fehlerfalle an bestehenden oder ge- 
planten Anlagen etc. direkt in der realen Umgebung visuali- 

35 siert und so fiir den oder die Anwender erlebbar gemacht wer- 
den. 
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Diese Aufga3oe wird durch ein System zur Darstellung von In- 
formationen/ insbesondere Augmented-Reality Inf ormationen^ 
fiir mindestens einen Anwender mit 

• mindestens einer Erf assungseinheit zur Erfassung einer Um- 
5 gebung und zur Generierung entsprechender Umgebungsinf or- 

mationen^ die eine Position und/oder eine Ausrichtung des 
Systems in Bezug auf die Umgebung kennzeichnen^ 

• mindestens einem Simulationssystem zur Generierung von Si- 
mulationsdaten^ 

10 • mindestens einer Verarbeitungseinheit zur Verkniipfung der 
Umgebungsinf ormationen und auf Basis der Simulationsdaten 
kontinuierlich modif izierter und in einem ersten Speicher— 
medium abgelegter Bildinf ormationen 
gelost • 

15 

Diese Aufgaloe wird weiter durch ein Verfahren zur Darstellung 
von Inf ormationen^ insbesondere Augmented-Reality Informatio- 
nen, fiir mindestens einen Anwender bei dem 

• mit Hilfe mindestens einer Erf assungseinheit eine Umgebung 
20 erfasst und entsprechende Umgebungsinf ormationen, die eine 

Position und/oder eine Ausrichtung des Systems in Bezug 
auf die Umgebung kennzeichnen, generiert werden, 

• mit Hilfe mindestens eines Simulationssystems Simulations- 
daten generiert werden, 

25 • mit Hilfe mindestens einer Verarbeitungseinheit die Umge- 
bungsinf ormationen und auf Basis der Simulationsdaten kon— 
tinuierlich modif izierte und in einem ersten Speichermedi- 
um abgelegte Bildinf ormationen verknupft werden 
gelost . 

30 

Durch die Verkniipfung der mit Hilfe des Simulationssystems 
generierten Daten mit den auf die reale Umgebung bezogenen 
Umgebungsinf ormationen wird eine Visualisierung der Simulati— 
onsergebnisse im Kontext mit der realen Umgebung ermoglicht. 
35 Simulationsergebnisse werden mit Hilfe von Augmented-Reality 
in die Real±tat iibertragen und dort in einer gemischt virtu- 
ellen realen Welt visualisiert . Dabei werden die dynamischen 
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Ergebnisse der Simulation entsprechend ihrer Dynamik in die 
reale Welt transportiert und somit fiir den Betrachter erleb- 
bar gemacht . Simulationen, die bis dato nur in rein virtuel- 
len Umgebungen durchgefiihrt werden^ konnen mit dem erfin- 
5 dungsgemaiien System bzw. der erf indungsgemaBen Vorrichtung in 
der Realitat dargestellt werden^ ohne dass eine aufwendige 
Modellierung der realen Umgebung notwendig ist . Verf alschun- 
gen der realen Umgebung und daraus resultierende fehlerhafte 
Ruckschlusse/ die bei einer Nachbildung der Realitat nie 
10 vollstandig ausgeschlossen werden konnen^ werden durch die 
erf indungsgemaJie Kombination von Simulationstechniken und 
Augmented-Reality Technologie vermieden. 

Neben der Augmentierung der Wirklichkeit durch reale Gegen- 
15 stande (z.B* Transportgiiter) kann die Simulation auch als 
Prognosewerkzeug eingesetzt werden. Dabei kann z. B. durch 
die Simulation eine Prognose erstellt werden, dass in naher 
Zukunft an einer Maschine Oder einer Fordereinrichtung ein 
Problem auftritt. Dann kann z. B. als Warnung die Umgebung 
2 0 der Maschine gelb oder rot eingefSrbt werden (oder der virtu- 
ell explodierende Kessel gezeigt werden) . 

Das erf indungsgemafie System kann beispielsweise fiir folgende 
Aufgaben vorteilhaft eingesetzt werden: 

• Darstellung des Transportauf kommens von Giitern in Ferti- 
25 gungseinrichtungen und FQrderanlagen in Abhangigkeit von 

unterschiedlichen Systemzustanden (Ausf all, Verfiigbarkeit 
bei redundant en Linien, Durchsatzeinf lusse wie Staus) 

• Darstellung von Besuchern bei Veranstaltungen in der rea- 
len Veranstaltungsumgebung (z. B. Personenauf kommen an 

30 Messestanden, an Fluchtwegen, an Produktionslinien, 

etc . . . ) 

• Darstellung von Temperaturverlauf en in Tunnelofen in Ab- 
hangigkeit von Bestiickung (Anzahl der Paletten mit Zie- 
geln) und. Material 

35 • Darstellung des Bearbeitungszustands eines Werkstiicks in 
einer Werkzeugmaschine in der Zukunft oder Vergangenheit 
(Nutzen? Wie lange dauert die Bearbeitung noch?) 
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Bei einer vorteilhaften Ausfiihrungsf orm der Erfindung ist die 
Verarbeitungseinheit derart ausgefiihrt, dass sie zur Berech- 
nung von Verdeckungen virtueller Objekte durch eine im Erfas- 
sungsbereich des Systems existierende reale Anordnung auf Ba- 
5 sis der in dem erst en Speichermedium abgelegten Bildinf orma- 
tionen sowie zur Generierung einer Datenmenge zur Beschrei- 
bung der virtuellen Objekte dient^ wobei die von der realen 
Anordnung verdeckten FlSchen der virtuellen Objekte ausge- 
blendet sind. Auf diese Weise wird eine Datenmenge zur Wie- 

10 dergabe eines 3-d±mensionalen Modells generiert, dessen Dar- 
stellung dem Anwender eine positionsgenaue Visualisierung 
virtueller und realer Objekte in alien drei Raumdimensionen 
ermoglicht . Durch die Ausblendung der von realen Objekten 
verdeckten Telle der virtuellen Objekte wird ein hinter einem 

15 realen Objekt posdLtioniertes virtuelles Objekt auch als sol- 
ches von dem Anwender wahrgenommen . 

Vorteilhafter Weise weist das System mindestens eine Wieder- 
gabeeinheit zur Darstellung der von der Verarbeitungseinheit 
20 generierten Datenmenge auf. Bei der Wiedergabe der Augmented- 
Reality Inf ormationen konnen zwei unterschiedliche Verfahren 
zum Einsatz kommen. 

Die Wiedergabeeinlneit kann als Head-Mounted-Display ausgebil- 
25 det sein, wobei die von den durch die Verarbeitungseinheit 

generierten Bildinf ormationen beschriebenen Objekte direkt in 
das Sichtfeld des Anwenders eingeblendet werden^ und der An- 
wender den von den durch die Bildinf ormationen beschriebenen 
Objekten nicht verrdeckten Tell der aktuellen Realitat welter- 
30 hin direkt wahrnimmt • Bei dieser Art der Darstellung von Aug- 
mented-Reality In:Eormationen handelt es sich um das sogenann- 
te Optical-See-Thrrough Verfahren. 

Alternativ ist die Wiedergabeeinheit derart ausgebildet, dass 
35 die von den durch die Verarbeitungseinheit generierten Bild- 
inf ormationen beschriebenen Objekte und der von den durch die 
Bildinformationen beschriebenen Objekte nicht verdeckte Teil 
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der aktuellen RealitSt dargestellt werderi/ wobei die Vorrich- 
tung hierzu insbesondere mindestens eine Bilderf assungsein- 
heit, die be±spielsweise als Videokamera ausgefiihrt ist, zur 
Erfassung der aktuelle Realitat auf weist . Diese Ausfuhrungs- 
5 form ermoglicht die Darstellung der Augmented-Reality Infor- 
mationen fiir mehrer Anwender. Bei dieser Art der Darstellung 
von Augment ecL-Reality Inf ormationen handelt es sich um das 
sogenannte V±deo-See-Through Verfahren. Hierbei werden die 
von den Bildinf ormationen beschriebenen und nicht durch reale 

10 Objekte verdeckten Telle der virtuellen Objekte in das von 
der Videokamera erfasste Bild eingeblendet und auf einem o- 
der, z. B. unter Verwendung eines Videosplitters, mehreren 
Wiedergabeeinheiten dargestellt. Bei den Wiedergabeeinheiten 
kann es sich um Head-Mounted-Displays und/oder gewohnliche 

15 Monitore handeln, die insbesondere auch an von der erfassten 
aktuellen Realitat entfernten Orten positioniert sein konnen. 

In einer vorteilhaf ten Ausf lihrungsf orm weist das System min- 
destens eine Anwendungssteuerung zur Ansteuerung des Simula- 

20 tionssystems und/oder mindestens eines realen Prozesses auf. 
Die Anwendungssteuerung erlaubt die Aktivierung und die Steu- 
erung realer und virtueller Prozesse. Dariiber hinaus stellt 
sie die verftigbaren Kommandos und den aktuellen Zustand des 
Systems r zum Beispiel unter Verwendung einer Videokarte^ mit 

25 Hilfe der Wiedergabeeinheit dar. Zur Steuerung eines realen 

Prozesses ist zweckmaBigerweise zusatzlich eine Prozesssteue— 
rung vorgesehen, die das notwendige Ablaufsystem und die not- 
wendigen Steuerprogramme, um eine Anlage oder Anlagenkompo- 
nenten nach einem vorgegebenen Ablauf schema zu steuern (z,B. 

30 eine SPS mit ihren dazugehorigen Daten- und Funktionsbaustei- 
nen) enthalt . 

Um dem Anwender die Moglichkeit zu geben, reale Prozesse und 
Simulationen aktivieren und steuern zu konnen, umfasst das 
35 System mindestens eine Anwenderschnittstelle, die dem Anwen- 
der eine Ansteuerung des Simulations systems und/oder mindes- 
tens eines realen Prozesses erlaubt. Die Anwenderschnittstel- 
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le kann unterschiedldLche EingabegerSte umfassen wie z. B. 
Maus/ Tastatur^ Mikrophone, etc,*. Die von den EingabegerSten 
gelieferten Signale werden mitt els entsprechender Geratetrei- 
ber in Befehle fiir di_e Anwendungssteuerung umgesetzt. 

5 

ZweckmSBigerweise wei.st das System ein zweites Speichermedium 
auf, in dem aktuelle Zustandswerte des realen Prozesses^ ins- 
besondere Sensorwerte und/oder zu setzende Aktorwerte^ abge- 
legt sind. 

10 

Bei einer vorteilhaf ten Ausfiihrungsf orm ist das Simulations- 
system derart ausgef iilnrt ^ dass der Ablauf einer Simulation 
durch die im zweiten Speichermedium abgelegten Zustandswerte 
kontinuierlich beeinf lusst werden kann und/oder die im zwei— 

15 ten Speichermedium abgelegten Zustandswerte durch das Simula- 
tionssystem modifiziert werden konnen, Durch die Moglichkeit 
des Zugriffs auf die im zweiten Speichermedium abgelegten Zu- 
standswerte, kann das Simulationssystem auf aktuelle ZustSnde 
eines realen Prozesses reagieren und eine laufende Simulation 

2 0 entsprechend beeinf liassen. Weiterhin kann das Simulationssys- 
tem Zustandswerte modif izieren und so einen laufenden realen 
Prozess beeinf lussen. 

Zur Beeinf lussung eines realen Prozessen und/oder zur Erfas- 
25 sung von Zustandsparametern eines realen Prozesses ist in ei- 
ner vorteilhaf ten Aus f iihrungsf orm mindestens eine Prozessan- 
bindung vorgesehen,. vrelche die Veranderung des Zustandes ei- 
nes realen Prozesses^ insbesondere in Abhangigkeit der im 
zweiten Speichermedium abgelegten Zustandswerte^^ und die Er- 
30 fassung des aktuellen. Zustandes eines realen Prozesses er- 
laubt . 

In einer weiteren vorteilhaften Ausfiihrungsf orm des Systems 
ist ein drittes Speichermedium vorgesehen^ in dem Daten abge- 
35 legt werden, die eine Rekonstruktion eines mittels des Simu- 
lationssystems simulierten Vorganges erlauben. Das dritte 
Speichermedium enthalt: kontinuierliche und zyklische Daten, 
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die iiber eine def inierte Zeitspanne auf gezeichnet worden 
sind. Sie sind hinreichend genau^ um von dem Slmulationssys- 
tem aufgezeichnete Vorgange in Zeitlupe oder Zeitraffer ab- 
spielen zu konnen^ sowohl vorwarts als auch ruckwSrts entlang 
der Zeitachse gexrichtet. 

Im Folgenden wird die Erfindung anhand der in den Figuren 
dargestellten Ausfiihrungsbeispiele nSher beschrieben und er- 
ISutert. Es zeigen: 

FIG 1 eine schematische Darstellung eines System zur Darstel- 
lung von Inf ormationen^ insbesondere Augment ed-Reality 
Inf ormationen, fur mindestens einen Anwender und 

FIG 2 eine detaillierte Darstellung einer Ausf iihrungsf orm des 
in FIG 1 gezeigten Systems 

FIG 1 zeigt eine schematische Darstellung eines Systems 1 zur 
Darstellung von Inf ormationen^ insbesondere Augmented-Reality 
Inf ormationen, fiir mindestens einen Anwender 2. Im Blickfeld 
des Anwender s 2 befindet sich eine reale Anordnung 11, bei 
der es sich beispielsweise um einen Hubtisch handeln kann. 
Der Anwender 2 trSgt auf dem Kopf eine Erf assungsvorrichtung 
3a, zum Beispiel einen Sensor, die Bestandteil einer Erfas- 
sungseinheit 3 ist. Mit Hilfe der Erf assungsvorrichtung 3a 
wird die Umgebung des Anwenders 2 erfasst und mit einer Ver- 
arbeitungseinheit 3b entsprechende Umgebungsinf ormationen 4 
generiert, die die Position und den Blickwinkel des Anwenders 
2 in Bezug auf die reale Anordnung 11 kennzeichnen. 

Das System weist ein erstes Speichermedium 5 auf, in dem 
Bildinf ormationen 6 beziiglich realer und virtueller Objekte 
abgelegt sind. Die Bildinf ormationen 6 beschreiben die realen 
und virtuellen Objekte in Form von dreidimensionalen Model- 
len. 

Das System 1 umfasst weiterhin ein Simulations system 7, mit 
dem Simulationsdaten 12 generiert werden. Die in dem Spei- 
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chermedium 5 abgelegten Bildinf ormationen 6 werden hierbei 
kontinuierlich durch die von dem Simulationssystem 7 gene- 
rierten Simulationsdaten 12 aktualisiert . 

5 Eine Verarbeitungseinheit 8 verkniipft nun die Bildinf ormatio- 
nen 6 und die Umgebungsinf ormation 4 zu einer neuen Datenmen- 
ge 9/ die mit Hilfe einer Wiedergabeeinheit 10 dargestellt 
werden kann. Durch die Verkniipfung der Bildinf ormationen 6 
mit den Umgebungsinf ormationen 4 durch die Verarbeitungsvor- 

10 richtung 8 ist nun eine positionsgenaue Einblendung der neu 
generierten Bildinf ormationen 9 in das Blickfeld des Anwen- 
ders 2 moglich. Hierbei werden Verdeckungen durch den Hub- 
tisch 11 von den durch die Bildinf ormation 6 beschriebenen 
geometrischen Anordnungen dem Anwender sichtbar gemacht . Die 

15 Visualisierung der in dem Speichermedium 5 abgelegten Daten 6 
zur Beschreibung virtueller Objekte erfolgt so im Kontext zu 
der realen Umgebung d.es Anwender s 2, wobei der Anwender 2 ei- 
ne korrekte Darstellung sowohl der virtuellen als auch der 
realen Objekte in seiner Umgebung in alien drei Raumdimensio- 

20 nen erhalt. Bei der Darstellung der erweiterten Realitat ist 
durch das Simulationssystem 7 dariiber hinaus eine Dynamisie- 
rung der in dem erst en Speichermedium 5 abgelegten realen und 
virtuellen Objekte moglich. 

25 FIG 2 zeigt eine detaillierte Darstellung einer Ausfiihrungs- 
f orm des in Figur 1 gezeigten Systems • Im Blickfeld eines An- 
wenders 2 befindet sich eine reale Anordnung 11, bei der es 
sich wiederum um einen Hubtisch handeln kann. Mit Hilfe einer 
Erf assungseinheit 3 bestehend aus einer insbesondere als Sen- 

30 sor ausgefuhrten Erf assungsvorrichtung 3a und einer Verarbei- 
tungseinheit 3b werden die Position und der Blickwinkel des 
Anwenders 2 in Bezug auf die reale Anordnung 11 erfasst und 
in Form von Umgebungsinf ormationen 4^ die in Gestalt einer 
Matrix vorliegen, an die Verarbeitungseinheit 8 gegeben. Bei 

35 der Verarbeitungseinheit 3b kann es sich insbesondere um ein 
Trackingsystem handeln. 



8 



wo 2005/045729 



PCT/EP2004/052783 



In einem ersten Speichermedium 5 befinden sich Bildinf ormati- 
onen 6 zur Beschreibung des dreidimensionalen Modells einer 
Oder mehrerer virtueller oder realer Anordnungen. In dem ge- 
zeigten Beispiel handelt es sich bei den virtuellen oder rea- 
len Anordnungen um einen virtuellen Robot er 18a und virtuelle 
Pakete 18b. In einem zu visualisierenden Zukunftsszenario 
kSnnten z. B. die virtuellen Pakete 18b von dem realen Hub- 
tisch 11 transport iert und/oder gehoben werden und von dem 
virtuellen Robot er 18a nach einem oder mehreren QualitStskri- 
terien aussortiert warden. 

Ein Simulationssystem H generiert eine Menge von Simulations- 
daten 12, anhand derer die in dem Speichermedium 5 abgelegten 
Bildinf ormationen 6 kontinuierlich aktualisiert werden. Mit 
Hilfe des Simulationssystems 7 ist so eine Dynamisierung der 
virtuellen Objekte 18a und 18b moglich. 

In einem vierten Speiclnermedium 19 ist ein Simulationsmodell 
abgelegt, welches alle notwendigen Daten enthalt, um sowohl 
von realen als auch von virtuellen Komponenten das physikali- 
sche Verhalten und das Steuerverhalten hinreichend genau si- 
mulieren zu konnen. Das Simulationsmodell beschreibt auch die 
Abhangigkeit zwischen den Objekten (z.B. Paket, das auf Hub- 
tisch liegt und entsprechend der aktuellen FSrdergeschwindig- 
keit zu transport ieren ist) . 

Die Verarbeitungseinhed_t 8 verknupft die Umgebungsinf ormatio- 
nen 4 und die von dem Simulationssystem kontinuierlich aktua- 
lisierten Bildinf ormati-onen 6 der virtuellen Anordnungen 18a 
und 18b zu einer neuen Datenmenge 9. Um eine positionsgenaue 
Einblendung der virtue3-len Bildinf ormationen 6 in die reale 
Umgebung fiir den Anwender 2 zu ermoglichen^ sind in einem 
fiinften Speichermedium 20 Kalibrierinf ormationen in Form von 
Matrizen abgelegt, die geometrische Abweichungen zwischen dem 
Sensor des Erf assungssy^stems 3a, dem Auge des Anwenders 2 und 
der Wiedergabeeinheit 10 beschreiben. Von der Verarbeitungs- 
einheit 8 werden die Teile der virtuellen geometrischen An- 
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ordnungen 18a und 18b ausgeblendet, die durch den Hubtisch 11 
verdeckt werden. Somit erhalt der Anwender 2 bei einer Dar- 
stellung der Datenmenge 9 einen korrekten dreidimensionalen 
Eindruck der erweiterten RealitSt bestehend aus dem Hubtisch 
5 11, dem virtuellen Roboter 18a und den virtuellen Paketen 
18b. 

Die von der Verarbeitungseinheit 8 generierten Datenmenge 9 
wird mit Hilfe einer Videokarte 21 in ein von der Wiedergabe- 
10 einheit 10 darstellbares Signal umgewandelt. 

Das System 1 umfasst weiterhin eine Anwendungssteuerung 14, 
mit deren Hilfe auf das Simulationssystem 7 zugegriffen wer- 
den kann und ein realer Prozess, in diesem Fall z.B. ein ak- 

15 tiver Hubtisch 11, gesteuert werden kann. Hierzu steht dem 
Anwender 2 eine Anwenderschnittstelle 15 zur Verfugung, die 
z,B. eine Maus, eine Tastatur oder auch ein Mikrofon umfassen 
kann. Die von dem Anwender 2 iiber die Anwenderschnittstelle 
15 eingegebenen Steuerbef ehle werden mit Hilfe eines oder 

20 mehrerer GerStetreiber 22 in ein Signal fiir die Anwendungs- 
steuerung 14 konvertiert. Die fiir den Anwender 2 verfiigbaren 
Kommandos konnen von der Anwendungssteuerung 14 mit Hilfe der 
Videokarte 21 auf dem Wiedergabegerat 10 dargestellt werden. 

25 Eine der Anwendungssteuerung 14 untergliederte Prozesssteue— 
rung 23 enthalt das notwendige Ablauf system und die notwendi- 
gen Steuerprogramme^ um den Hubtisch 11 nach einem vorgegebe- 
nen Ablauf schema zu steuern. Hierbei kann es sich beispiels- 
weise um eine speicherprogrammierbare Steuerung (SPS) mit ih- 

30 ren dazugehorigen Oaten und Funktionsbaust einen handeln. 

In einem zweiten Speichermedium 13 sind die aktuellen Zu- 
standswerte des Hubtisches 11 abgelegt, sowie aktuell iiber 
eine Prozessschnittstelle 24 zu setzende Aktorwerte. Die in 
35 dem zweiten Speichermedixam 13 abgelegten Sensor- und Aktor- 
werte konnen von dem Simulationssystem 7 sowohl gelesen wer- 
den, um entsprecbende Modif ikationen der laufenden Simulation 
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durchzufuhren^ als auch modifiziert werden, urn eine Anderung 
des laufenden Prozesses -Qber die Prozessschnittstelle 24 zu 
bewirken. Mit Hilfe eineir Prozessanbindung 17 konnen die ak- 
tuellen Sensorwerte des Hubtisches 11 eingelesen werden sowie 
5 aktuelle Aktorwerte des Hubtisches 11 gesetzt werden. Die 

Sensorwerte werden in dem sich in dem zweiten Speichermedium 
13 befindlichen Prozessat>bild abgelegt und die Aktorwerte 
werden aus dem sich in dem zweiten Speichermedium 13 befind- 
lichen Prozessabbild gelesen. 

10 

Das beschriebene System 1 ermoglicht somit einen Zugriff des 
Anwenders 2 liber die Anwonderschnittstelle 15 sowohl auf den 
Ablauf der Simulation als auch auf den real ablaufenden Pro- 
zess auf dem Hubtisch 11 • Weiterhin konnen sich der reale 
15 Prozess und die Simulation gegenseitig beeinf lussen • 

Das System 1 weist ein drittes Speichermedium 16 auf, in dem 
wahrend der Simulation generierte Daten kontinuierlich abge-- 
legt werden. Diese kontinuierlich bzw. zyklisch iiber eine de- 
20 finierte Zeitspanne auf gezeichneten Daten sind hinreichend 

genau, um von dem Simulationssystem 7 auf gezeichnete Vorgange 
in Zeitlupe Oder Zeitraffer aibspielen zu konnen. Dies ist so- 
wohl in Vorwarts- als auch in Riickwartsrichtung entlang der 
Zeitachse moglich. 

25 

Eine mogliche Vorgehensweise bei einer Verwendung des Systems 
1 ist wie folgt: 

1. Anwender (2) mit AR-Gerat erfasst die reale Anordnung 11. 
30 2 . Anwender 1 stSfit Simulationsprozess im Kontext der realen 
Anordnung 11 an. 

3. Simulationsprozess synchronisiert sich mit der realen An- 
ordnung 11. 

4 . Mit Hilfe von Tracking-verf ahren werden die visuellen Simu- 
35 lationsergebnisse im Sichtfeld des Anwenders 2 mit der re- 
alen Anordnung 11 in Deckung gebracht. 
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5. Anwender 2 beeinflusst im Zeitraffer / Zeitlupe den Simu- 
lationsprozess 

6. Anwender 2 sieht in der Zukunft liegende Fertigung-/ Umge- 
bungsvorgange in der dafiir vorgesehenen realen Umgebung^ 
bzw. im Kontext mit der realen Anordnung 11 

Das hier beschriebene System 1 kennt zwei Hauptmodi. Im ers- 
ten Modus, Prozess aktiv, werden die realen Komponenten di- 
rekt liber die Froze sssteuerung 23 und die Prozessanbindung 17 
gesteuert, Im zweiten Modus, Prozess passiv, werden die rea- 
len Komponenten nicht xiber die Prozessanbindung 17 angespro— 
Chen. Uber die Anwendungssteuerung 14 werden die Modi akti- 
viert. Das Verhalten des Systems 1 bzw. der Systemkomponenten 
in den beiden Modi ist wie folgt, 

In dem Modus Prozess aktiv werden die realen Komponenten liber 
die Prozessanbindung 17 angesprochen . Es erfolgt eine Dynami- 
sierung der Realitat und eine dazu passende Dynamisierung und 
Einbindung der virfuellen Komponenten 18a und 18b • Die Sys- 
temkomponenten sind aber so eingestellt, dass die berechneten 
bzw. erfassten Positionen der realen Komponenten, in diesem 
Fall des Hubtisches 11, sich im dreidimensionalen Modell wi- 
derspiegeln, aber nicht als Komponenten von dem Verarbei- 
tungssystem 8 eingetolendet werden, sondern lediglich zur Aus- 
blendung der verdeckten Telle der virtuellen Komponenten 18a 
und 18b Verwendung finden. 

In dem Modus Prozess passiv werden die realen Komponenten 
(der Hubtisch 11) tiber die Prozessanbindung 17 nicht ange- 
sprochen und befinden sich in einem definierten Ruhezustand. 
Es erfolgt keine reale Dynamisierung der realen Anordnung 
bzw. des Hubtisches 11, sondern eine simulierte Dynamisierung 
der Realitat. Die dazu passende Dynamisierung und Einblendung 
der virtuellen Komponenten 18a und 18b erfolgt parallel. Die 
Systemkomponenten sind dabei so eingestellt, dass die berech- 
neten bzw. erfassten Positionen des Hubtisches 11 sich im 
dreidimensionalen Modell widerspiegeln und vom Verarbeitungs- 
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system 8 zusammen mit d&m dreidimensionalen Modell der virtu— 
ellen Komponenten 18a und 18b eingeblendet werden. Gibt es 
eine Ubereinstimmung zwischen der berechneten Position des 
Hijbtisches 11 und der wirklichen Position des Hubtisches 11, 
5 so wird das dreidimensionale Modell des Hubtisches 11 nicht 
eingeblendet/ sondern nur fur die Berechnung der Ausblendung 
verwendet. Dieser Modus wird insbesondere auch fiir die Zeit- 
lupen- und Zeitraf f erfunktionalitat des Systems 1 eingesetzt, 

10 Zusammenf assend betrifft die Erfindung ein System und ein 

Verfahren innerhalb eines Augmented-Reality (AR) Systems zur 
Visualisierung von Simulationsergebnissen in einer gemischt 
virtuellen realen Umgebuing. Das System bzw. Verfahren ermog- 
licht es einem oder mehareren Anwender (n) , Simulationsprozesse 

15 im Kontext einer realen Umgebung, insbesondere im Bereich der 
industriellen Automatis±erungstechnik/ durchzuf lihren und de- 
ren statische und dynaitiische Ergebnisse im Kontext der realen 
Umgebung zu visualisieren . In der realen Umgebung ablaufende 
Prozesse werden erfasst und mit der Simulation synchroni- 

2 0 siert, Mit Hilfe einer Steuerungseinheit wird eine wechsel— 
seitige Beeinf lussung realer Prozesse mit der Simulation er- 
mSglicht. Weiterhin kann der Anwender iiber eine Anwender- 
schnittstelle den Ablauf der Simulation steuern. 

25 
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P at en t anspruche 

1. System (1) zur Darstellung von Inf ormationen, insbesonde- 
re Augment ed-Reality Inf ormationen, fur mindestens einen 
Anwender ( 2 ) mit 

• mindestens einer Erf assungseinheit (3) zur Erfassung einer 
Umgebung und zur Generierung entsprechender Umgebungsin- 
formationen (4) , dx& eine Position und/oder eine Ausrich- 
tung des Systems (1> in Bezug auf die Umgebung kennzeich- 
nen^ 

• mindestens einem Simulationssystem (7) zur Generierung von 
Simulationsdaten (12) und 

• mindestens einer Verrarbeitungseinheit ( 8 ) zur Verknupfung 
der Umgebungsinf ormationen (4) und auf Basis der Simulati- 
onsdaten (12) kontinuierlich modif izierter und in einem 
ersten Speichermediiam (5) abgelegter Bildinf ormationen 

(6) . 

2. System nach Ansprucln 1, 

dadurch gekennzeichnet , dass die Verarbeitungseinheit (8) 
derart ausgefiihrt ist^ dass sie zur Berechnung von Verdeckun- 
gen virtueller Objekte (18a, 18b) durch eine im Erf assungsbe- 
reich des Systems (1) existierende reale Anordnung (11) auf 
Basis der in dem ersten Speichermedium (5) abgelegten Bildin- 
f ormationen (6) sowie zur Generierung einer Datenmenge (9) 
zur Beschreibung der virtuellen Objekte (18a, 18b) dient, wo- 
bei die von der realen Anordnung (11) verdeckten Flachen der 
virtuellen Objekte (18a., 18b) ausgeblendet sind* 

3^ System nach einem der vorhergehenden Anspruche, 
dadurch gekennzeichnetr dass das System (1) mindestens eine 
Wiedergabeeinheit (10) zur Darstellung der von der Verarbei- 
tungseinheit (8) generd-erten Datenmenge (9) aufweist. 
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4. System nach einem der vorhergehenden Anspruche/ 
dadurch gekennzeichnet / dass das System mindestens eine An- 
wendungssteuerung (14) zur Ansteuerung des Simulationssystems 
(7) und/oder mindestens eines realen Prozesses auf weist . 

5 

5. System nach einem der vorhergehenden Anspriiche, 
dadurch gekennzeichnet, dass das System (1) mindestens eine 
Anwenderschnittstelle (15) auf weist, die dem Anwender eine 
Ansteuerung des Simulationssystems (7) und/oder mindestens 

10 eines realen Prozesses erlaubt. 

6. System nach einem der vorhergehenden Anspriiche, 

dadurch gekennzeichnet, dass das System (1) ein zweites Spei- 
chermedium (13) aufweist, in dem aktuelle Zust andswerte des 
15 realen Prozesses, instoesondere Sensorwerte und/oder zu set- 
zende Aktorwerte, abg-elegt sind. 

7. System nach einem der vorhergehenden Anspriiche, 

dadurch gekennzeichnet, dass das Simulationssystem (7) derart 
20 ausgefiihrt ist, dass der Ablauf einer Simulation durch die im 
zweiten Speichermedium (13) abgelegten Zust andswerte kontinu- 
ierlich beeinflusst warden kann und/oder die im zweiten Spei- 
chermedium (13) abgelegten Zustandswerte durch das Simulati- 
onssystem (7) modifiz±ert werden kOnnen. 

25 

8. System nach einem der vorhergehenden Anspriiche, 
dadurch gekennzeichnet, dass das System (1) mindestens eine 
Prozessanbindung (17) aufweist, welche die Veranderung des 
Zustandes eines realen Prozesses, insbesondere in Abhangig- 

30 keit im zweiten Speichermedium (13) abgelegter Zustandswerte, 
und die Erfassung des aktuellen Zustandes eines realen Pro- 
zesses erlaubt. 

9. System nach einem der vorhergehenden Anspriiche, 

35 dadurch gekennzeichnet, dass das System (1) ein drittes Spei- 
chermedium (16) aufwe±st, in dem Daten abgelegt werden, die 
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eine Rekonstruktion eines mittels des Simulationssystems (7) 
simulierten Vorganges erlauben. 

lO.Verfahren zur Darstellung von Inf ormationen, insbesondere 
Augmented-Reality Inf ormatlonen, fiir mindestens einen An- 
wender (2) bei dem 

• mit Hilfe mindestens einer Erf assungseinheit (3) eine Um- 
gebung erfasst und entsprechende Umgebungsinf ormationen 
(4) generiert werden^ die eine Position und/oder eine Aus- 
richtung des Systems (1) in Bezug auf die Umgebung kenn— 
zeichnen^ 

• mit Hilfe mindestens eines Simulationssystems (7) Simula- 
tionsdaten (12) generiert warden und 

• mit Hilfe mindestens einer Verarbeitungseinheit (8) die Um- 
gebungsinf ormationen (4) und auf Basis der Simulationsda- 
ten (12) kontinuierXlch modifizierte und in einem ersten 
Speichermedium (5) abgelegte Bildinf ormationen (6) ver- 
kniipft werden. 

20 11. Verfahren nach Ansj^ruch 10, 

dadurch gekennzeichnet , dass mit Hilfe der Verarbeitungsein- 
heit (8) Verdeckungen virtueller Objekte (18a, 18b) durch ei- 
ne im Erf assungsbereiclnL des Systems (1) existierende reale 
Anordnung (11) auf Basis der in dem ersten Speichermedium (5) 

25 abgelegten Bildinf ormationen (6) berechnet werden sowie eine 
Datenmenge (9) zur Beschreibung der virtuellen Objekte (18a, 
18b) generiert wird, wobei die von der realen Anordnung (11) 
verdeckten Flachen der virtuellen Objekte (18a, 18b) ausge- 
blendet sind. 

30 

12- Verfahren nach einem der Anspriiche 10 Oder 11, 
dadurch gekennzeichnet, dass mit Hilfe mindestens einer Wie- 
dergabeeinheit (10) die von der Verarbeitungseinheit (8) ge- 
neriert e Datenmenge (9) dargestellt wird. 

35 
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13* Verfahren nach einem der Anspriiche 10 bis 12, 
dadurch gekennzeichnet , dass mit Hilfe inindestens einer An- 
wendungssteuerung (14) das Simulationssystems (7) und/oder 
inindestens ein realer Prozess angesteuert werden. 

14. Verfahren nach einem der Anspriiche 10 bis 13, 

dadurch gekennzeichnet/ dass mit Hilfe mindestens einer An- 
wenderschnittstelle (15) dem Anwender eine Ansteuerung des 
Simulationssystems (7) und/oder mindestens eines realen Pro- 
zesses erlaubt wird. 

15. Verfahren nach einem der Anspriiche 10 bis 14, 

dadurch gekennzeichnet , dass in einem zweiten Speichermedium 
(13) aktuelle Zustandswerte des realen Prozesses, insbesonde- 
re Sensorrwerte und/oder zu setzende Aktorwerte, abgelegt wer- 
den. 

16. Verfahren nach einem der Anspriiche 10 bis 15, 
dadurch gekennzeichnet , dass der Ablauf einer Simulation 
durch die im zweiten Speichermedium (13) abgelegten Zustands- 
werte kontinuierlich beeinflusst werden kann und/oder die im 
zweiten Speichermedium (13) abgelegten Zustandswerte durch 
das Simulations system (7) modifiziert werden kSnnen. 

17. Verfahren nach einem der Anspriiche 10 bis 16, 

dadurch gekennzeichnet, dass mit Hilfe mindestens einer Pro- 
zessanbindung (17) der Zustand eines realen Prozesses veran- 
dert wird, insbesondere in Abhangigkeit im zweiten Speicher- 
medium (13) abgelegter Zustandswerte, und/oder der aktuelle 
Zustand eines realen Prozesses erfasst wird. 

18. Verfahren nach einem der Anspriiche 10 bis 17, 

dadurch gekennzeichnet, dass in einem dritten Speichermedium 
(16) Daten abgelegt werden, die eine Rekonstruktion eines 
mittels des Simulationssystems (7) simulierten Vorganges er- 
lauben . 
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